Ông tên thật là Phạm Văn Thiện, sinh ngày 11 tháng 6 năm 1912, tại làng Long Hồ, huyện Châu Thành, tỉnh Vĩnh Long (nay là xã Long Phước, huyện Long Hồ, tỉnh Vĩnh Long).

Năm 16 tuổi, ông tham gia cách mạng, hoạt động trong phong trào thanh niên, học sinh, tham gia tổ chức Nam Kỳ học sinh liên hiệp hội và Thanh niên cộng sản đoàn. Năm 1930, ông được kết nạp vào Đảng Cộng sản Đông Dương.

Năm 1930, ông bị thực dân Pháp bắt và kết án tử hình. Song, do sự phản đối của dư luận trong nước cũng như ở Pháp, Chính phủ Pháp đã giảm án xuống khổ sai chung thân và đưa ông ra Côn Đảo giam giữ. Sau 14 năm trong tù, năm 1945 ông được chính quyền cách mạng đưa tàu ra đón về và giữ chức Bí thư Xứ ủy lâm thời Nam Bộ.

Sau khi kháng chiến chống Pháp bùng nổ, ông được phân công nhiệm vụ xây dựng lực lượng công an Nam Bộ.

Tại Đại hội lần thứ hai của Đảng Lao động Việt Nam họp năm 1951, ông được bầu vào Ban Chấp hành Trung ương và công tác ở Trung ương Cục miền Nam và Ủy ban Kháng chiến hành chính miền Đông Nam Bộ.

Sau Hiệp định Genève, năm 1954 ông được cử làm Trưởng đoàn Quân đội nhân dân Việt Nam trong Ban Liên hiệp đình chiến tại Nam Bộ và năm sau làm Trưởng phái đoàn Quân đội nhân dân Việt Nam bên cạnh Ủy ban quốc tế tại Sài Gòn, và mang hàm Đại tá.